L'elegante edificio, ricco di marmi specie nella parte esterna, fu costruito nel 1776 dall'architetto Filippo De Medico per ordine di Maria Teresa, duchessa di Massa e Carrara affinché diventasse sede dell'Accademia di belle arti.